कृत्रिम बुद्धिमत्ता द्वारा संचालित छवि जनरेशन और समझ के क्षेत्र में, तेजी से प्रगति के बावजूद, कई महत्वपूर्ण चुनौतियाँ हैं, जो एक निर्बाध, एकीकृत दृष्टिकोण के विकास में बाधा डालती हैं। वर्तमान में, छवि समझ पर ध्यान केंद्रित करने वाले मॉडल अक्सर उच्च गुणवत्ता वाली छवियाँ जनरेट करने में प्रभावी नहीं होते हैं, और इसका विपरीत भी सत्य है। इस तरह की कार्य विभाजन की संरचना न केवल जटिलता को बढ़ाती है, बल्कि दक्षता को भी सीमित कर देती है, जिससे एक साथ समझ और जनरेशन की आवश्यकता वाले कार्यों को संभालना cumbersome बन जाता है। इसके अलावा, कई मौजूदा मॉडल किसी भी कार्य को प्रभावी ढंग से निष्पादित करने में आर्किटेक्चरल संशोधनों या पूर्व-प्रशिक्षित घटकों पर अत्यधिक निर्भर होते हैं, जो प्रदर्शन में व्यापारिक समझौते का कारण बनता है।

एलोन मस्क की xAI कंपनी ने हाल ही में अपने AI मॉडल Grok में छवि समझने की क्षमता जोड़ दी है। X प्लेटफ़ॉर्म के भुगतान करने वाले उपयोगकर्ता अब AI सहायक को चित्र अपलोड कर सकते हैं और उससे संबंधित प्रश्न पूछ सकते हैं। इस अपडेट की पुष्टि xAI के कर्मचारियों और Grok के आधिकारिक प्रवक्ता ने X प्लेटफ़ॉर्म पर की है। मस्क ने प्लेटफ़ॉर्म पर Grok की नई क्षमताएँ प्रदर्शित करते हुए कहा कि यह न केवल चित्र की सामग्री को समझ सकते हैं, बल्कि चित्र में छिपे हास्य तत्वों की भी व्याख्या कर सकते हैं। हालांकि, उन्होंने यह भी स्वीकार किया कि वर्तमान में यह फीचर अभी प्रारंभिक चरण में है और टीम इसे लगातार बेहतर बनाने पर काम कर रही है। ध्यान देने वाली बात यह है कि इस साल अगस्त से शुरू किया गया है।

हाल ही में एक लॉन्च इवेंट में, अली इंटरनेशनल एआई टीम ने अपने नवीनतम विकास मल्टी-मोडल बड़े मॉडल ओविस का अनावरण किया, जो एक अभिनव एआई तकनीक है जो निश्चित रूप से विभिन्न उद्योगों के लिए नए अवसर लाएगा। ओविस की छवि समझ और डेटा प्रोसेसिंग क्षमता अत्यधिक प्रभावशाली है। ओविस की मल्टी-मोडल क्षमता बेहद मजबूत है, यह टेक्स्ट, इमेज और अन्य डेटा को संभालने में सक्षम है, जिससे यह उत्कृष्ट समग्र प्रदर्शन दिखाता है। पारंपरिक बड़े भाषा मॉडल की तुलना में, ओविस न केवल टेक्स्ट को समझ सकता है, बल्कि इमेज जैसे गैर-टेक्स्ट सूचना का भी गहराई से विश्लेषण कर सकता है।

माइक्रोसॉफ्ट ने Phi-3.5-vision जारी किया, एक हल्का, बहु-मोडल ओपन-सोर्स AI मॉडल, जो पाठ और दृश्य इनपुट को प्रोसेस करने के लिए डिज़ाइन किया गया है, 128K संदर्भ लंबाई का समर्थन करता है। यह मॉडल संसाधन-सीमित वातावरण के लिए उपयुक्त है, जिसमें छवि समझ, OCR, चार्ट解析, और कई छवियों का संक्षेपण जैसी सुविधाएँ शामिल हैं, जिससे उत्कृष्ट प्रदर्शन और कम विलंबता दिखाई देती है। 42 बिलियन पैरामीटर से बना, उच्च गुणवत्ता वाले डेटा द्वारा प्रशिक्षित, प्रदर्शन और गोपनीयता सुनिश्चित करता है। इसमें तीन प्रकार के मॉडल शामिल हैं: हल्का AI, विशेषज्ञ मिश्रण और बहु-मोडल मॉडल, सभी छवि और वीडियो प्रोसेसिंग बेंचमार्क टेस्ट में उत्कृष्ट प्रदर्शन दिखाते हैं।